<?xml version="1.0" encoding="utf-8" ?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta name="generator" content="Docutils 0.4: http://docutils.sourceforge.net/" />
<title>wxStyledTextCtrl中Unicode的处理问题</title>
<style type="text/css">

/*
:Author: David Goodger
:Contact: goodger@users.sourceforge.net
:Date: $Date: 2005-12-18 01:56:14 +0100 (Sun, 18 Dec 2005) $
:Revision: $Revision: 4224 $
:Copyright: This stylesheet has been placed in the public domain.

Default cascading style sheet for the HTML output of Docutils.

See http://docutils.sf.net/docs/howto/html-stylesheets.html for how to
customize this style sheet.
*/

/* used to remove borders from tables and images */
.borderless, table.borderless td, table.borderless th {
  border: 0 }

table.borderless td, table.borderless th {
  /* Override padding for "table.docutils td" with "! important".
     The right padding separates the table cells. */
  padding: 0 0.5em 0 0 ! important }

.first {
  /* Override more specific margin styles with "! important". */
  margin-top: 0 ! important }

.last, .with-subtitle {
  margin-bottom: 0 ! important }

.hidden {
  display: none }

a.toc-backref {
  text-decoration: none ;
  color: black }

blockquote.epigraph {
  margin: 2em 5em ; }

dl.docutils dd {
  margin-bottom: 0.5em }

/* Uncomment (and remove this text!) to get bold-faced definition list terms
dl.docutils dt {
  font-weight: bold }
*/

div.abstract {
  margin: 2em 5em }

div.abstract p.topic-title {
  font-weight: bold ;
  text-align: center }

div.admonition, div.attention, div.caution, div.danger, div.error,
div.hint, div.important, div.note, div.tip, div.warning {
  margin: 2em ;
  border: medium outset ;
  padding: 1em }

div.admonition p.admonition-title, div.hint p.admonition-title,
div.important p.admonition-title, div.note p.admonition-title,
div.tip p.admonition-title {
  font-weight: bold ;
  font-family: sans-serif }

div.attention p.admonition-title, div.caution p.admonition-title,
div.danger p.admonition-title, div.error p.admonition-title,
div.warning p.admonition-title {
  color: red ;
  font-weight: bold ;
  font-family: sans-serif }

/* Uncomment (and remove this text!) to get reduced vertical space in
   compound paragraphs.
div.compound .compound-first, div.compound .compound-middle {
  margin-bottom: 0.5em }

div.compound .compound-last, div.compound .compound-middle {
  margin-top: 0.5em }
*/

div.dedication {
  margin: 2em 5em ;
  text-align: center ;
  font-style: italic }

div.dedication p.topic-title {
  font-weight: bold ;
  font-style: normal }

div.figure {
  margin-left: 2em ;
  margin-right: 2em }

div.footer, div.header {
  clear: both;
  font-size: smaller }

div.line-block {
  display: block ;
  margin-top: 1em ;
  margin-bottom: 1em }

div.line-block div.line-block {
  margin-top: 0 ;
  margin-bottom: 0 ;
  margin-left: 1.5em }

div.sidebar {
  margin-left: 1em ;
  border: medium outset ;
  padding: 1em ;
  background-color: #ffffee ;
  width: 40% ;
  float: right ;
  clear: right }

div.sidebar p.rubric {
  font-family: sans-serif ;
  font-size: medium }

div.system-messages {
  margin: 5em }

div.system-messages h1 {
  color: red }

div.system-message {
  border: medium outset ;
  padding: 1em }

div.system-message p.system-message-title {
  color: red ;
  font-weight: bold }

div.topic {
  margin: 2em }

h1.section-subtitle, h2.section-subtitle, h3.section-subtitle,
h4.section-subtitle, h5.section-subtitle, h6.section-subtitle {
  margin-top: 0.4em }

h1.title {
  text-align: center }

h2.subtitle {
  text-align: center }

hr.docutils {
  width: 75% }

img.align-left {
  clear: left }

img.align-right {
  clear: right }

ol.simple, ul.simple {
  margin-bottom: 1em }

ol.arabic {
  list-style: decimal }

ol.loweralpha {
  list-style: lower-alpha }

ol.upperalpha {
  list-style: upper-alpha }

ol.lowerroman {
  list-style: lower-roman }

ol.upperroman {
  list-style: upper-roman }

p.attribution {
  text-align: right ;
  margin-left: 50% }

p.caption {
  font-style: italic }

p.credits {
  font-style: italic ;
  font-size: smaller }

p.label {
  white-space: nowrap }

p.rubric {
  font-weight: bold ;
  font-size: larger ;
  color: maroon ;
  text-align: center }

p.sidebar-title {
  font-family: sans-serif ;
  font-weight: bold ;
  font-size: larger }

p.sidebar-subtitle {
  font-family: sans-serif ;
  font-weight: bold }

p.topic-title {
  font-weight: bold }

pre.address {
  margin-bottom: 0 ;
  margin-top: 0 ;
  font-family: serif ;
  font-size: 100% }

pre.literal-block, pre.doctest-block {
  margin-left: 2em ;
  margin-right: 2em ;
  background-color: #eeeeee }

span.classifier {
  font-family: sans-serif ;
  font-style: oblique }

span.classifier-delimiter {
  font-family: sans-serif ;
  font-weight: bold }

span.interpreted {
  font-family: sans-serif }

span.option {
  white-space: nowrap }

span.pre {
  white-space: pre }

span.problematic {
  color: red }

span.section-subtitle {
  /* font-size relative to parent (h1..h6 element) */
  font-size: 80% }

table.citation {
  border-left: solid 1px gray;
  margin-left: 1px }

table.docinfo {
  margin: 2em 4em }

table.docutils {
  margin-top: 0.5em ;
  margin-bottom: 0.5em }

table.footnote {
  border-left: solid 1px black;
  margin-left: 1px }

table.docutils td, table.docutils th,
table.docinfo td, table.docinfo th {
  padding-left: 0.5em ;
  padding-right: 0.5em ;
  vertical-align: top }

table.docutils th.field-name, table.docinfo th.docinfo-name {
  font-weight: bold ;
  text-align: left ;
  white-space: nowrap ;
  padding-left: 0 }

h1 tt.docutils, h2 tt.docutils, h3 tt.docutils,
h4 tt.docutils, h5 tt.docutils, h6 tt.docutils {
  font-size: 100% }

tt.docutils {
  background-color: #eeeeee }

ul.auto-toc {
  list-style-type: none }

</style>
</head>
<body>
<div class="document" id="wxstyledtextctrl-unicode">
<h1 class="title">wxStyledTextCtrl中Unicode的处理问题</h1>
<table class="docinfo" frame="void" rules="none">
<col class="docinfo-name" />
<col class="docinfo-content" />
<tbody valign="top">
<tr class="field"><th class="docinfo-name">作者:</th><td class="field-body">limodou</td>
</tr>
<tr class="field"><th class="docinfo-name">联系:</th><td class="field-body"><a class="reference" href="mailto:limodou&#64;gmail.com">limodou&#64;gmail.com</a></td>
</tr>
<tr class="field"><th class="docinfo-name">版本:</th><td class="field-body">unicode.txt 42 2005-09-28 05:19:21Z limodou</td>
</tr>
<tr class="field"><th class="docinfo-name">主页:</th><td class="field-body"><a class="reference" href="http://wiki.woodpecker.org.cn/moin/NewEdit">http://wiki.woodpecker.org.cn/moin/NewEdit</a></td>
</tr>
<tr class="field"><th class="docinfo-name">BLOG:</th><td class="field-body"><a class="reference" href="http://www.donews.net/limodou">http://www.donews.net/limodou</a></td>
</tr>
<tr class="field"><th class="docinfo-name">版权:</th><td class="field-body">GPL</td>
</tr>
</tbody>
</table>
<p>NewEdit 现在应该已经可以很好的处理Unicode了，这其中也有一些波折。</p>
<p>wxPython 现在一个版本号上有两个发布包，一个支持Unicode，另一个不支持。支持Unicode的全部都是Unicode。原来
NewEdit对Unicode的支持仅限于打开文件和保存文件时可以正确地进行码制转换（因为这时中文的处理已经正常了），以
为这样就可以了。而且我的源码中没有使用一个汉字，主要想与国际接轨嘛，现在对NewEdit的开发已经全部使用自已进行
了，因此竟然也没有发现什么问题。但当我打开ChangeLog.txt(用中文写的)时，想试一试其中的部分功能，这才发现，
中文处理有问题，字符串的长度与位置全不对了。于是赶紧找原因。主要出错原因如下：</p>
<dl class="docutils">
<dt>GetText()</dt>
<dd>这个函数返回编辑器的全部文本，但在Unicode版本下它返回的是Unicode，这样一个汉字的长度为1，而不是2。因此使
用len()函数得到的长度是Unicode字符的个数，而不是真正的文本的长度。</dd>
<dt>GetCurrentPos()</dt>
<dd>取得当前插入点位置的函数(还包括其它一些与位置有关的函数)不是在GetText()中的偏移量，而是实际字节的偏移量，
我发现一个汉字要占3字节。因此，如果插入点放在第一个汉字后面，它的值不是1，而是3。</dd>
<dt>GetLength()</dt>
<dd>返回的不是Unicode的字符个数，而是实际字节的个数。</dd>
</dl>
<p>这下问题大了，有些情况下，我是先取到整个编辑器的全部文本，再使用 Python 的字符处理得到相应的位置值，再对编
辑器进行相应的处理。通过上面可以得知，我得到的全部的文本是Unicode，这样我处理时并不会按我的意图进行精确的定
位，也就是说偏移量计算有问题，这样我根据这个偏移量去显示选择文本的位置和长度可能都不对。如果能够仍然象半角字
符一样地去处理Unicode，那么就可以解决这个问题。还有我发现了GetTextRange()函数，可以返回指定区间的字符串，
返回值为Unicode，但如果传入的区间参数不是正好在Unicode字符的边缘，返回为空串。还有一个函数是GetCharAt()可
以得到指定位置的字节数，为一个整数，如果想把它用作字符，要使用chr()函数进行转换。那么GetCharAt()可以精确地
处理任意的位置，哪怕是在一个Unicode中间。</p>
<p>那么为什么一个汉字要占三个字节呢？这是因为wxStyledTextCtrl保存文本使用的是UTF-8编码的，根据UTF-8编码规则一
个汉字需要使用三个字节。这一点通过测试也可以得知。那么对UTF-8编码的处理可以按照半角字符的处理，比如：一个汉
字转成UTF-8要占三个字节，那么我计算它的长度不再是1，而是3。很好，我得到了一个处理思路：对于要使用GetText()
的函数，首先将其转换成UTF-8编码。这样，以前按ASC(半角)编码处理的查找代码都不用修改了。还有一点很重要的就是，
在NewEdit的处理有些只支持英文，如对于单词匹配的处理。查找、替换是可以支持中文的。对于要显示、替换时，根据位
置值，使用GetRangeText()或其它由编辑器提供的函数来得到Unicode的字符串，对编辑器进行修改。</p>
<p>简单地说：查找一个串、或进行匹配时使用UTF-8得到位置值。再根据位置值调用相应的函数得到Unicode字符串。</p>
<p>在Unicode环境下对中文进行处理时，的确要非常小心。我发现，wxStyledTextCtrl所提供的CallTip功能，当遇到中文
Unicode时会退出，不得已，我自已实现了一个支持中文的CallTip。</p>
<p>上述对Unicode问题的解决都是测试出来的，不一定是最好的解决方法。如果有更好的，更合理的方法请告诉我，我好加以
改进。</p>
<p><a class="reference" href="technical.htm">[返回]</a></p>
</div>
</body>
</html>
